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1.0. Палій 

Науково-дослідний інститут інтелектуальних комп'ютерних систем, 
Тернопільський національний економічний університет, м. Тернопіль, Україна 
іратпец.еди ма 


Метод 1 засіб виявлення обличчя для ефективної 
обробки кольорових зображень 


У даній статті представлено метод виявлення обличчя людини на основі комбінованого каскаду 
класифікаторів, призначений для обробки кольорових зображень шляхом додаткового застосування 
сегментації за кольором шкіри у двох кольорових просторах. Також на основі аналізу процесів та 
інформаційних потоків системи виявлення обличчя обгрунтовано структуру та розроблено програмну 
реалізацію даної системи. 


За останні десять років дослідження з виявлення обличчя людини значно акти- 
візувалися, що пояснюється виникненням багатьох застосувань для даної задачі, коли 
виявлення обличчя (ВО) є першим кроком для будь-якої його обробки (11: розпізна- 
вання обличчя, відеоконференція, пошук зображень за змістом, відеоспостереження, 
людино-комп'ютерний інтерфейс, аналіз емоцій, підрахунок відвідувачів, контроль 
доступу та інші. Задача ВО є достатньо простою для людини, проте при створенні авто- 
матичної системи виявлення потрібно враховувати багато факторів, які впливають на 
зовнішній вигляд обличчя |1): зовнішність, ракурс, нахил, вираз обличчя, наявність 
структурних елементів, перекриття іншими об'єктами, умови спостереження та ін. 

Відомі підходи до ВО поділяються на ряд груп | 1|, проте слід виділити методи, 
що базуються на моделюванні зображення обличчя. За критеріями рівня виявлення 
та кількості хибних позитивних виявлень (ХПВ) більш ефективними є методи на ос- 
нові моделювання зображення обличчя, які застосовують монолітні класифікатори: 
нейронні мережі |2-5|, апарат опорних векторів |6-8|, класифікатор Байєса |9| та ін. 
Але більшу швидкодію демонструють методи ВО, що використовують каскадні 
класифікатори (10-15). Загалом методи ВО на основі моделювання зображення обличчя 
демонструють хороші результати на складних тестових наборах і здатні обробляти 
зображення зі швидкістю десятків кадрів за секунду. Проте існують сфери застосу- 
вання, де відомі методи ВО не зовсім прийнятні, наприклад, системи відеоспостере- 
ження та контролю доступу. Для досягнення у таких системах високого рівня виявлення 
при мінімальній кількості хибних виявлень потрібне залучення складних монолітних 
класифікаторів, використання яких при існуючій стратегії пошуку обличчя сповіль- 
нює роботу підсистеми ВО і робить неможливою роботу з відеопотоком. Методи ж 
із каскадними класифікаторами, що дозволяють швидко обробляти відеоінформацію, 
не володіють достатньою ефективністю, зокрема при збільшенні відсотка виявлень 
більше 90 95 спостерігається експоненціальний ріст кількості хибних позитивних 
виявлень (12). Тому актуальною задачею є розроблення нових методів ВО, які б де- 
монстрували високий рівень виявлення обличчя при малій кількості ХПВ, не 
втрачаючи при цьому можливості роботи з відеопотоком. 
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Для вирішення даної задачі автором у |161, (17) представлено та експеримен- 
тально досліджено метод виявлення обличчя на основі дворівневого комбінованого 
каскаду класифікаторів, який дозволив поєднати швидкодію каскадних класифікаторів 
із високим рівнем виявлення монолітних. При цьому комбінований каскад використо- 
вує каскад простих класифікаторів (10) для виявлення облич-кандидатів та згорткову 
нейронну мережу |18| для верифікації кандидатів. У комбінованому каскаді вико- 
ристано новий метод верифікації облич-кандидатів |17|, який дозволив зменшити 
час перевірки кандидатів у 9 разів у порівнянні із відомим методом верифікації |51. 
Також автором у |17| удосконалено метод навчання згорткової нейронної мережі 
шляхом використання адаптивного співвідношення позитивних/негативних трену- 
вальних прикладів, що дозволило на відміну від відомого методу навчання отримати 
низьку похибку класифікації не більше 2 Ус на оціночному наборі для позитивних 
прикладів. Запропонований метод ВО на основі комбінованого каскаду класифікаторів 
показав одні з найкращих результатів на тестовому наборі СМО (130 зображень з 
507 обличчями) |3|, випередивши за рівнем виявлення метод П. Віоли та М. Джонса (10| 
на 12 90, а методи Г. Роулі |3|, С. Лі (11) та П. Кудряшова |12| приблизно на 5 У» при 
7-10 ХПВ. При цьому система ВО на основі запропонованого методу працює зі 
швидкістю 15 - 20 к/с. 

У даній статті автором розвинуто та досліджено запропонований у (17| метод 
ВО для ефективної обробки кольорових зображень шляхом додаткового застосування 
сегментації за кольором шкіри. Крім того, представлено та обгрунтовано архітектуру 
системи ВО, що дозволило програмно реалізувати дану систему. 


Метод виявлення обличчя на кольорових зображеннях 


Наявність інформації про колір потенційно може покращити процес ВО, так як 
звужує область пошуку обличчя, а отже, і зменшує кількість хибних позитивних 
виявлень (19). Тому доцільно розвинути метод на основі комбінованого каскаду класи- 
фікаторів для виявлення обличчя на кольорових зображеннях. При цьому у комбіно- 
ваному каскаді потрібно сформувати ще один рівень виявлення облич-кандидатів, що 
передує каскаду простих класифікаторів, на основі сегментації за кольором шкіри (КІ). 
Враховуючи, що сегментація за КПІ може базуватися на пікселях або на регіонах, 
автором взято за основу піксельну сегментацію, яка передбачає побудову класифіка- 
тора, що відділяє пікселі шкіри від пікселів фону. При цьому доцільно використати 
метод моделювання з явним визначенням границь кластеру КШ, так як він є простим 
у використанні, швидким 1 достатньо точним | 20). 

Існує декілька кольорових просторів, які з успіхом застосовано для сегментації 
за КШ, наприклад, для КСВ використано наступні явно визначені границі кластеру 
КИ (для кожного з каналів В, С, В) |211: 


Уо Модель кольору шкіри при денному освітлені 
К » 95 ап С » 40 апд В » 20 апа 
тах в, С, В)- тіп ів, с,в)» 15 апа 


ВС» 15 
апд Кк» Сапд Кк» В 
ОК 
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Ув Модель кольору шкіри при яскравому освітленні 
К»220апі С» 210 апа В » 170 апа 
в - С «15 апа 


К»Вапні С» В. 

Автором досліджено також кольорові простори Т5Ї,, УСЬСТ та У 10), для яких, у 
свою чергу, встановлено наступні границі кластеру КШ (для кожного з каналів Т; 
СЬ, Сг; І, О) 221: 

0,45 «Т «0,65, 
85 «С, 2 І35 алі 135 «С, «160, 
0,02 «І «0,22 апд - 0,08 40 «0,12. 
Експериментальні дослідження методу ВО на кольорових зображеннях з вико- 


ристанням сегментації за КШ проведено на тестовому наборі ОСП |231, який містить 
58 зображень з 224 вертикальними фронтальними обличчями (рис. 1). 
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а) 6) 
Рисунок 1 - КОС-криві (а) та час виявлення (б) комбінованого каскаду 
класифікаторів на тестовому наборі ЮСР з використанням різних кольорових 
просторів 


Як видно з рис. 1а, найвищий рівень виявлення забезпечує сегментація за КШ у 
просторі Т51.. Використання простору ТЗІ, у порівнянні з У СЬСт, УІО та КСВ забез- 
печує вищий рівень виявлення в середньому на 0,4 90, 1,3 Уо та 2,7 Ус відповідно. 
На основі рис. 16 можна зробити висновок, що найменший час ВО досягається при 
використанні кольорового простору КСВ. 

Автором також досліджено вплив на рівень виявлення комбінованого каскаду 
класифікаторів сегментації за КШ у двох кольорових просторах, результати сегмен- 
тації яких поєднано логічним оператором «І» (рис. 2). 

На основі результатів, поданих на рис. 2, можна зробити висновок, що для до- 
сягнення високого рівня виявлення доцільно використати поєднання кольорових 
просторів Т51,-У1О, тоді як для отримання високої швидкодії - ВСВ-Т5І,. Слід 
відмітити, що використання просторів КСВ-ТЧІ, у порівнянні з Т51,-У10О демонструє 
нижчий рівень виявлення в середньому лише на 1,3 Зо. 
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а) 6) 
Рисунок 2 - КОС-криві (а) та час виявлення (6) комбінованого каскаду 
класифікаторів на тестовому наборі ЮСР з використанням поєднань кольорових 
просторів 


Порівняння результатів ВО з використанням сегментації за КШ одного кольоро- 
вого простору Т5Ї,, а також поєднань просторів Т51-У10 та ВСВ-ТЗЧІ, показали (рис. 3), 
що доцільно використати саме поєднання двох просторів, так як використання 
ТЗІЛУТО та КСВ-ТЗІ, дозволило отримати в середньому на 1,7 Ус та 0,8 У» вищий 
рівень виявлення та зменшити час ВО на тестовому наборі ЮСР на 6 9? та 26 Зб від- 
повідно. 
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Рисунок 3 - КОС-криві (а) та час виявлення (6) комбінованого каскаду 
класифікаторів на тестовому наборі ОСР з використанням одного та поєднання 
декількох кольорових просторів 


Подальша обробка сегментованого зображення може бути здійснена або виділен- 
ням сегментів з КП та подачею кожного з них на вхід комбінованого каскаду 
класифікаторів як окремого зображення, або обробкою комбінованим каскадом всього 
вхідного зображення з накладеною бінарною маскою, в якій одиниці містять пікселі 
з кольором шкіри, а нулі - фон. Доцільно використати останній підхід, який потен- 
ційно потребує менше обчислювальних затрат (не потрібно знаходити інтегральне 
зображення для кожного сегмента, області сегментів не обробляються повторно, 
коли більші сегменти включають менші) та дозволяє виявити більше облич-канди- 
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датів (обробляються краї сегментів, які можуть містити частково сегментовані обличчя). 
У такому випадку з метою уникнення обробки фонових областей вхідного зображен- 
ня при виявленні облич-кандидатів каскад простих класифікаторів обробляє лише ті 
вікна, наповненість яких нулями (пікселями фону) на бінарній масці не перевищує 
70 9о. Вибір такого високого порогового значення наповненості пояснюється необхі- 
дністю обробки країв сегментів з КШ, так як часто обличчя сегментуються не повністю. 
У результаті експериментальних досліджень методу ВО на кольорових зображеннях 
з використанням тестового набору ССР встановлено, що обробка комбінованим кас- 
кадом вхідного зображення з накладеною бінарною маскою виконується на 20 Зб 
швидше, ніж обробка кожного сегмента як окремого зображення. 

Загалом при використанні сегментації за кольором шкіри метод ВО на основі 
комбінованого каскаду класифікаторів, представлений у |17), демонструє вищий рівень 
виявлення в середньому на 1,3 У та 2,6 У (рис. 4), а також потребує на 29 90 та 10 Зо 
менше часу на обробку вхідних зображень при застосуванні ВСВ-ТЗЧІ, та Т51/-У10 
відповідно (рис. 5). 
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Рисунок 4 - КОС-криві комбінованого каскаду класифікаторів на тестовому наборі 
ОСО з та без сегментації за кольором шкіри 
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Рисунок 5 - Час роботи комбінованого каскаду класифікаторів на тестовому наборі 
ОСО з та без сегментації за кольором шкіри 
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Архітектура та програмна реалізація 


системи виявлення обличчя 


4П 


Для побудови системи виявлення обличчя потрібно перш за все дослідити про- 


цеси системи ВО та інформаційні потоки між ними. З цією метою побудовано 
деталізовану діаграму потоків даних системи ВО (рис. б). 
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Рисунок 6 - Діаграма потоків даних системи виявлення обличчя 


Зовнішніми елементами по відношенню до системи є «Джерело вхідного сиг- 
налу» та «Користувач». Джерелом вхідного сигналу може бути фотоапарат, відеокамера, 
пам'ять, в якій міститься готовий відеозапис або зображення. Користувачем може 
бути розробник або адміністратор системи, який не тільки отримує результати роботи 
у вигляді інформації про виявлені обличчя або підсумки навчання комбінованого 

каскаду класифікаторів, але й тримає зворотній зв'язок із системою через задання 
параметрів, тренувального та оціночного наборів для навчання та інших даних. 


На основі зібраного користувачем набору облич формується розширений тренува- 
льний набір, який генерується за допомогою методу створення віртуальних прикладів |2|. 
Даний тренувальний набір зберігається у вигляді файлів-зображень 1 використову- 


ється в подальшому при навчанні згорткової нейронної мережі (ЗНМ). 
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Структура ЗНМ генерується автоматично на основі алгоритму, розробленого 
автором у |17|, 1 залежить від розміру вхідного зображення, розміру та кроку ядер 
згортки, кількості шарів, кількості площин у кожному шарі, кількості вхідних зв'яз- 
ків кожної площини. 

У результаті навчання каскаду простих класифікаторів (КПК) та ЗНМ на основі 
заданих користувачем параметрів, тренувальних та оціночних наборів, зображень для 
самозавантаження негативних прикладів створюються файли, в яких зберігаються струк- 
тура та параметри відповідних класифікаторів. Параметрами навченого КПК є коор- 
динати, типи, синаптичні ваги та пороги Хаар-подібних рис, пороги рівнів КПК. 
Параметрами навченої ЗНМ є синаптичні ваги та пороги. Крім того, користувач 
отримує результати навчання: похибки класифікації на оціночному наборі, кількість 
епох та час навчання. 

На основі вхідного зображення, заданих користувачем моделі КШ та параметрів 
здійснюється сегментація за кольором шкіри, у результаті чого формується інфор- 
мація про сегменти з КП. Виявлення облич-кандидатів на знайдених сегментах з 
КШ відбувається навченим КПК. На виході процесу формується інформація про 
виявлені кандидати: кількість, координати, ширина, висота та кількість багатократних 
виявлень. Аналогічно працює і процес верифікації, який перевіряє виявлені обличчя - 
кандидати і залишає лише ті, які класифіковані як обличчя згортковою нейронною 
мережею. Результатом роботи даного процесу є інформація про виявлені обличчя: кіль- 
кість, координати, ширина, висота та достовірність, задана вихідним значенням ЗНМ. 

На основі проведеного дослідження процесів та інформаційних потоків системи 
виявлення обличчя можна синтезувати її структуру (рис. 7). 


Система виявлення обличчя 


Блок навчання 
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класифікаторів 


Блок виявлення 
обличчя 
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|в каскаду простих 
класифікаторів 


ЕН Модуль сегментації за 
кольором шкіри 
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розширеного 
р» тренувального набору | і 
для згорткової нейронної 
мережі 


Модуль виявлення 
облич-кандидатів 


Модуль генерації 
р» структури згорткової із 
нейронної мережі 


Модуль верифікації 
облич-кандидатів 


Модуль навчання 
-»о згорткової нейронної 
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Рисунок 7 - Структура системи виявлення обличчя 


Для моделювання згорткової нейронної мережі, з якою працює ряд програмних 
модулів системи ВО, використано засоби об'єктно-орієнтованого проектування, що 
дозволило представити дану мережу у вигляді ієрархії взаємопов'язаних класів (рис. 8): 
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мережа, шар та площина. Для використання ЗНМ (навчання, виявлення) викликаються 
відповідні методи класів. 


Згорткова нейронна мережа 
Властивості: 
- Масив шарів 9 Шар 
е. Кількість вхідних площин Властивості: ані п 
» Розмір вхідного зображення Масив ий площина 
М Коекріцівнт зв'язаності е. Розмір площини Властивості: 
б коннинь е. Функція активації . Масив ядер згортки 
Ініціалізація синапсів та во шару ворів й - саоа 
іі ал е. Розміри ядер згортки -. Масив вказівників на вхідні 
. ний е. Крокиядер згортки площини 
5. бавовна Методи: Методи: 
Завантаження синапсів та 7 Кенетруктар й Конетруктор 
и - е-. Симуляція е Симуляція 
. ЗеенаН зинаноївяв . Зворотнє розповсюдження . Зворотнє розповсюдження 
порогів . Модифікація синапсів та . Модифікація синапсів та 
. Деструктор порогів порогів 
е. Деструктор е Деструктор 


Рисунок 8 - Об'єктно-орієнтована модель згорткової нейронної мережі 


Програмну реалізацію системи виявлення обличчя (рис. 9) здійснено у середовищі 
Мівца! СУ 2007 з використанням бібліотеки Пе! Ореп Сотриїег Мізіоп ІлрЬгагу |24| 
та Пе! Птестагед Регбогтапсе Ргітійуез (25), що дозволило підвищити швидкодію 
системи на робочих станціях з Піеі-процесорами. При цьому тестування розробленої 
системи ВО проведено з використанням камери І. оєїесіп ОиіскСат Мевзбепеег на ро- 
бочій станції Паіе! Сеіегоп ЕБ1200 Диаї-Соге 1,6 СНХ з 1 Гб оперативної пам'яті. Розроблене 
програмне забезпечення впроваджено в рамках систем відеоспостереження (україно- 
білоруський проект, Хе 01050008183) та контролю доступу (держбюджетна тема, 
Хо 01070012236). 
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Рисунок 9 - Головне діалогове вікно системи виявлення обличчя 
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Висновки 


Удосконалено метод виявлення обличчя на основі комбінованого каскаду кла- 
сифікаторів, який призначений для обробки кольорових зображень шляхом сегментації 
за кольором шкіри у двох кольорових просторах, що дозволило підвищити рівень 
виявлення в середньому на 1,3 Зб та 2,6 Ус, а також зменшити час обробки вхідних 
зображень в середньому на 29 95 та 10 95 при застосуванні поєднань просторів 
КСВ-ТЗЧІ, та Т51,-У1О відповідно у порівнянні з методом виявлення обличчя без 
використання сегментації. 

Досліджено інформаційні потоки та процеси системи виявлення обличчя та син- 
тезовано її структуру. Також представлено ієрархічну об'єктно-орієнтовану модель 
згорткової нейронної мережі. Синтезована структура системи виявлення обличчя та 
модель мережі дозволили розробити програмну реалізацію та впровадити її в систе- 
мах відеоспостереження та контролю доступу. 
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И.О. Палий 

Метод и средство обнаружения лица для зффективной обработки цветньїх изображений 

В данной статье представлен метод обнаружения лица человека на основе комбинированного каскада 
классификаторов, которьшй предназначен для обработки цветньїжх изображений путем дополнительного 
использования сегментациий по цвету кожи в двух цветньх пространствах. Также на оснований 
анализа процессов и информационньх потоков системьт обнаружения лица обоснована структура и 
разработано программноєе обеспечение данной системьі. 


1.О. Райу 
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А Тасе декесіїоп тейфодй, Базед оп їбе сотіріпед сазсаде ої сіаз8ібег5, Гог соїог шпаєєз ргосе85іпе, пз5іпе 
адаїопа! 5кіп соїог зертлепіайоп аб бо соїог 5расе5 15 ргезепіед іп Бі агіїсіє. Касе деїесіїоп 5узіет'я 
5ігисбиге апа 50Йїмаге аге деусорей аз ухеї Базед оп пе зузіет'я ргосе55е5 апа іпЇоглайоп Поууз апаЇузіз. 
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